Lennart Eing M.Sc.
Research Assistant
Chair for Human-Centered Artificial Intelligence
Forschungsinteressen
- Multimodale neuronale Netze
- Selfsupervised Learning
- Deep Learning
- Few-Shot Learning
Abschlussarbeiten
Alle angebotenen Abschlussarbeiten können auf Englisch oder Deutsch geschrieben werden, allerdings wird Englisch vorgezogen. Themen sind nur grobe Vorschläge und können auf Absprache auch verändert werden.
- Gebärdensprachenübersetzung mithilfe von V-JEPA und Large Language Models: Gebärdensprachen sind vollumfängliche Sprachen, die weltweit von einer großen Anzahl von Menschen verwendet werden. Sie bestehen aus einer Vielzahl verschiedener Kommunikationskanäle wie Gebärden, Gesichtsausdruck, Körperhaltung, Blickrichtung, etc. Fortschritte im Sprachverständnis in den letzten Jahren lassen vermuten, dass maschinelle Methoden auch einen großen Forschritt im Verständnis von Gebärdensprachen machen könnten. Dies erweist sich allerdings der deutlich schwereren Modalität "Bild" und der geringen Menge an verfügbaren Trainingsdaten als schwierig.
V-JEPA ist ein verhältnismäßig neues Video-Foundation Modell von der Firma Meta. Es zeigt herausragende Fähigkeiten im Verständnis von Video in einer großen Menge verschiedener Aufgaben. Dies ist aufgrund von Unsupervised Pretraining möglich. Aber eignet sich V-JEPA für die Gebärdensprachübersetzung? Dies gilt es in dieser Arbeit herauszufinden.